PALATE：预训练自回归潜在嵌入用于广告排序
🧭 生成式用户表示 · 广告排序 ★ 深度解读
DoorDash
用 GPT 式序列模型学习用户门店互动，以 last-token 隐藏向量作为冻结用户表示接入排序，双场景显著提升收入与转化
📌 工作参考价值（4 点）
- 冻结用户 embedding + daily batch inference 是低成本把序列个性化接入多 surface 的方式：比在每个 ranker 内建 DIN/Transformer 更易维护，DIN 增量仅 +0.03%，证明一个共享表示可覆盖大部分收益。
- 在复购/重购型电商，用探索加权 loss 打破 repeat 主导：对新商家/新交互给 9:1 或 3:1 的权重，能明显提升对新商品的召回和新意图表达；业务上对应拉新/发现场景。
- 负样本设计可替代 exact softmax：固定热门池 + 曝光未转化 + random + in-batch，成本低且 Recall 更好；对高基数 item vocab 的场景可直接迁移。
- 两阶段课程：先 click 预训练再 conversion 微调，并 warm-start，可以保留浏览广度同时锐化转化意图；适合有 click→purchase 漏斗的电商/广告场景。
COMPOTE：抗坍缩多假设学习的序列推荐
🧭 多假设序列推荐 · 抗坍缩训练 ★ 深度解读
Criteo AI Lab, Paris, France · Sorbonne Université, CNRS, ISIR, Paris, France
用退火 winner-takes-all 训练多假设头防止坍缩，仅凭 item ID 超越生成式与多兴趣基线
📌 工作参考价值（4 点）
- 可直接迁移的训练目标：共享 Transformer 编码器 + 多个独立 MLP 头，用 ℓτ = −τ log Σ_m p_{m,y}^{1/τ} 训练；从高温均匀更新退火到低温 winner-takes-all，能稳定地让多头按商品类目/意图区域分化，替代依赖路由或多样性正则的多兴趣建模。
- 推理侧用 max-similarity 聚合 cosine 分数即可，无需 catalogue-wide softmax 归一化；论文验证各头 logZ 方差很小，因此可直接接入向量数据库/ANN 检索，适合电商大目录低延迟召回。
- 诊断多头是否坍缩：记录测试集上各头输出方向的平均 pairwise cosine similarity；若接近 1.00，说明架构或路由没用，先换退火 WTA 目标，而不是继续加容量或加 MoE。
- 做消融时用等容量单头模型、等权 ensemble、routing/MoE 三个对照，可干净地归因多假设目标本身；电商场景中用户短会话天然多意图，多假设头比单头更能覆盖候选意图。
重审生成式与稠密检索：静态价值先验逆转差距
🧭 生成式 vs 稠密检索的评估与价值先验 ★ 深度解读
Shopify · University of Toronto
电商候选检索中，GR 的价值领先主要来自静态热门度，静态价值先验重排 DR 可反超且保持 recall 领先
📌 工作参考价值（4 点）
- 在电商候选生成离线评测中，除了 Recall@k / NDCG@k 的 exact next-item，务必加入 best-item value (BV@k) 和 value-weighted NDCG (vNDCG@k)。精确命中指标有 substitute blindness，无法奖励“有用替代品”，可能导致 GR 看起来很强；用类目/共现/LLM-judge 的部分得分更能反映真实业务价值。
- 若团队正在对比 Semantic ID 生成式召回与双塔/稠密召回，先做一次价值分解：把生成式方法的价值领先拆成 popularity / rating / brand 等静态项。如果 popularity 贡献 50%+，说明领先很可能来自“背热门”，不是个性化理解；可以做 popularity-agnostic 评估或对热门项降权。
- 训练一个简单且强的 baseline：DR + static prior。把 DR 相似度归一化后与静态商品价值分按 0.5 权重融合，只对 top-200 候选重排；不用重新训练、不用 decoder，线上可即时部署。论文中这一招把 DR 的 BV@50 从落后 GR 变成领先，Recall 还高于 GR，vNDCG 最高。
- 工业场景不要被参数规模唬住：14B 的 SID-LLM 生成式召回在 LLM-judged 分级相关性上低于约 300M 的稠密 encoder。升级到 GR 前，建议用 LLM-judge 对候选做 graded relevance（可给替代品部分分数），并与 DR+静态价值先验做 A/B；如果 GR 没有显著价值增量，维持 DR 成本更低。
MATE：LLM 推荐中的自适应长短期用户记忆
🧭 LLM 增强序列推荐 · 自适应用户记忆 ★ 深度解读
Yonsei University
提出 MATE，用时间证据控制长短期记忆写入，在线只更新用户记忆，在 LLM 增强序列推荐中提升 NDCG@10 7.0–13.2%
📌 工作参考价值（4 点）
- 用户建模可显式拆成长期/短期两个用户级矩阵记忆，长期更新保守、短期快速响应；在线只更新这两个矩阵，共享模型固定，单事件额外开销仅 1.25–1.32ms，存储 1MiB/user，适合实时推荐系统。
- 时间证据计算很实用：长期证据要求相似行为出现在至少两个不同日历月且跨时超过 30 天，避免短时突发被误判为长期偏好；短期证据给最小写入强度（epsilon=0.2），让新出现的兴趣也能进入短期记忆。
- 读取时用近期交互的衰减加权表示做门控，得到独立的 alpha_L、alpha_S，不做归一化，允许同时强调或抑制两个记忆，比固定权重融合更灵活。
- 使用冻结 LLM embedding（qwen3-embedding:4b）作为 item 语义，避免微调大模型，可直接替换现有 ID embedding，适合电商商品文本丰富的场景。
SwapRec：通过训练时交换提升序列推荐冷启动鲁棒性
🧭 序列推荐 · 冷启动 · 训练时替换 ★ 深度解读
Albatross AI · Johannes Kepler University Linz
把冷物品按内容相似度替换为温邻居的训练增强用于序列推荐，显著提升推理时冷替换鲁棒性和冷品曝光
📌 工作参考价值（4 点）
- 如果线上已经用“冷品→最相似温品”的 inference 替换，直接把同一条 NN 映射放到训练里，按概率 p_swap 对输入序列和 target 同时替换；加入 M_swap 限制每序列替换数，能低成本提升 ID 模型对冷启动点击的鲁棒性，不用改架构或加额外组件。
- p_swap 与 M_swap 控制增强强度，M_swap 会让替换更容易落在序列前部，从而给冷品 ID 更多梯度更新；对电商/音乐等有内容 embedding 的目录，直接用 title/description/image embedding 计算 cosine NN map 即可。
- 评估冷启动时不要只看全量 HR，应细分 n_train≤threshold、严格冷启动(n_train=0)、以及 swap/init/drop 三种处理；论文中 baseline 在严格冷启动时 swap 常常不如 drop/init，而 SwapRec 让 swap 成为最佳策略。
- 在 Amazon 数据上，SwapRec 同时提升冷品暴露比例和 catalog coverage（30.7%→31.8%，coverage 0.578→0.632），适合需要平衡新商品/新广告主曝光与精排效果的场景。
CRAMER：基于请求感知掩码的推荐模型编辑控制
🧭 请求感知序列推荐 · 参数掩码控制 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Faculty of Computer Science, Dalhousie University
用稀疏行-列参数掩码将自然语言请求即时作用于冻结的序列推荐骨干，避免重训与 LLM 推理开销
📌 工作参考价值（4 点）
- 借鉴掩码控制冻结骨干的架构：电商/推荐场景中，用户对推荐结果的即时反馈（如“不要太贵的”“更休闲”）可以用参数掩码在推理时快速调整模型，无需重新训练或部署多套模型；尤其适合已有大规模 Transformer 排序/召回模型。
- 用结构化行-列门控降低控制维度：不要对每个参数单独 mask，而是对矩阵行/列做门控再外积得到 entrywise mask，参数量从 O(d²) 降到 O(d)；配合 Gumbel-Top-k 实现 k-hot 稀疏，平衡表达力与开销。
- 工程实现可复用：请求文本经 PLM 编码 + mean pooling 得到语义向量 → 线性层投影到 gate logits → 离散采样得到 mask；训练只更新投影层和可选的部分 PLM，推理只多一次轻量前向，适合集成到现有 serving 系统。
- 超参数与模型选择：drop ratio 在 0.10 左右最优；小数据集需要更稀疏（更大 drop ratio）防过拟合；请求编码器用 ModernBERT 或 RoBERTa 比 MiniLM 效果好，可根据数据集规模选择。
规模化物品嵌入：Yandex生态下GNN与ID嵌入对比
🧭 物品嵌入策略对比 · 工业级序列推荐
Yandex
大规模工业系统对比表明，GNN预训练嵌入仅在数据有限时有益，数据充足时端到端ID嵌入无差异
📌 工作参考价值（4 点）
- 大规模推荐系统（如电商首页Feed）训练数据充足时，直接使用哈希ID嵌入端到端训练即可，无需额外GNN预训练，节省特征工程和模型维护成本。
- 新业务或冷启动阶段（如垂直品类推荐）数据稀疏，可引入GNN预训练物品嵌入提升模型效果，但需评估额外的图构建和更新开销。
- 物品ID嵌入采用哈希技巧处理动态目录，降低嵌入表内存占用，适合频繁上新的电商场景，工程实现简单且有效。
- 该结论为排序/召回模型中的物品表征架构选型提供了清晰决策依据：先评估数据规模再决定是否加入预训练模块。
生成式原型锚定项表示用于序列推荐
🧭 LLM 增强物品表示 · 生成式用户原型 ★ 深度解读
The Chinese University of Hong Kong · McGill University · Tongji University
用大模型生成物品理想受众描述（原型），并通过行为校准将其与真实交互模式对齐，提升序列推荐效果
📌 工作参考价值（4 点）
- 物品原型生成可迁移至电商冷启动：利用 LLM 基于商品标题、品牌、描述等元数据生成“理想目标用户画像”，作为额外的语义特征补充 ID 嵌入，显著改善长尾或新品缺少行为信号时的表示质量。
- 行为校准损失可直接复用：提出的基于物品共现统计的自适应排斥力调节方法（association‑weighted repulsion），本质是对均匀性损失的行为先验注入，可以轻量地加到已有 CTR／召回模型的表示学习模块，迫使嵌入布局贴合真实交互结构，而无需额外架构。
- 模型无关且推理零开销：GenAIR 的嵌入生成过程离线完成，与 GRU4Rec、SASRec、Bert4Rec 等常用序列模型无缝衔接，推理时仅需缓存向量，适合对延迟敏感的生产环境。
- 可扩展至生成式 Query 推荐：原型生成逻辑可自然映射到搜索/推荐场景：为用户搜索意图生成原型描述、为推送消息生成受众画像，进而提升 QueryRec 或内容理解中的语义匹配质量。